A New measure of output ranking performance in automatic document retrieval systems

海老沼 幸夫

INFORMANT, 4(2), p.79 - 85, 1987/02

可能な限り適合性の高い文献を優先的に出力する手法には、そのランキング性能を示す測度が必要である。その幾つかは既にRocchioらによって提案されているが、使用に不都合なので、新たな測度を提案する。まず、適合文献の出力順位に従って得られる再現度-適合度関数の積分値に着目する。次にこの面積をベースとして、ランキングを行わない通常の検索出力の値を0とし、01(最低最高)間の正数値をとる時に有意なランキングを、負数をとる時に無意味なランキングを示すように規準化する。この正負による表示が従来の測度と大きく異なる点である。この測度を導いた後、適用性を検討する。その結果、新測度は、ランキング・モデル間の性能差のみでなく、その有用性・無用性を容易に識別できるので、ランキング性能の評価やランキング・モデルの選択に有効であることが確認された。